1. Введение
Последнее обновление: 08.02.2022
Зачем нужна потоковая передача данных в нескольких облаках?
Предприятия активно стремятся распределять свои рабочие нагрузки между несколькими облачными платформами, поскольку внедрение нескольких облачных провайдеров в операционный процесс бизнеса имеет ряд преимуществ, таких как:
- Привязка к поставщику
- Снижение рисков обеспечения непрерывности бизнеса
- Зависимости и опора на один технологический стек
Что вы построите
В этом практическом задании вы настроите потоковую передачу данных между AWS и GCP в нескольких облачных средах, используя Confluent Cloud. Вы выполните следующие действия:
- Настройте выделенный кластер Kafka в Confluent Cloud на GCP.
- Настройте пиринг VPC между Confluent Cloud и вашим проектом GCP, чтобы к нему можно было получить доступ из частной сети.
- Настройте VPN-туннель между вашим проектом AWS и проектом GCP, чтобы ресурсы обоих гипермасштабируемых провайдеров могли взаимодействовать.
- Получите доступ к Confluent Kafka из AWS и настройте потоковый конвейер передачи данных из AWS в GCP, используя Confluent Kafka Cloud.
Что вы узнаете
- Как настроить пиринг VPC между Confluent Cloud Kafka и вашим проектом GCP.
- Как настроить VPN-туннель между проектами AWS и GCP.
- Как получить доступ к Confluent Cloud, размещенному в GCP, из вашего проекта AWS.
Данный практический урок посвящен созданию системы потоковой передачи данных в мультиоблачной среде. Несущественные концепции и фрагменты кода опущены и предоставлены для простого копирования и вставки.
Что вам понадобится
- Доступ к проекту AWS.
- Доступ к проекту GCP.
- Опыт работы с облачными платформами GCP и AWS.
- Подписка на Confluent Kafka через GCP Marketplace.
2. Настройка
Настройте VPN-соединение между AWS и GCP.
- В этой демонстрации используется VPC по умолчанию (asia-southeast1) в GCP и ng-vpc-103-mum (ap-south1) в AWS.
- В AWS создайте шлюз клиента (Customer Gateway) и виртуальный частный шлюз (VPG). Подключите VPG к AWS VPC.
- Создайте VPN-соединение между сайтами на AWS.
- Загрузите файл конфигурации туннеля, созданного в AWS. Выберите
- Поставщик: Generic
- Платформа: Универсальная
- Программное обеспечение: не зависит от поставщика.
- Версия Ike: Ikev2
- Создайте VPN-шлюз и VPN-туннель в GCP.
Укажите IP-адрес и ключ Ikev2 из загруженного файла конфигурации AWS для обоих туннелей.
- После завершения процесса туннель должен быть запущен и работать на AWS и GCP.
Монтаж туннеля завершен.
- Выберите блок CIDR, который будет использоваться для настройки Confluent Cloud. Добавьте его в VPN-туннель в качестве статического маршрута в AWS.
Confluent Kafka на торговой площадке GCP
- Подпишитесь на Confluent Kafka через GCP Marketplace.
- Войдите в облако Confluent и создайте выделенный кластер.
- Укажите идентификатор проекта GCP, а также сведения о сети VPC для установления пиринга.
- Завершите настройку пиринга VPC на стороне GCP, используя предоставленные данные о сети кластера Confluent Cloud.
- Кластер Confluent Cloud активирован и теперь имеет пиринговое соединение с GCP.
- Проверьте подключение к кластеру Confluent из GCP.
- Создайте экземпляр GCE и установите Python3.
- Сгенерируйте ключ клиента Python в Confluent Cloud.
- Запустите тестовый скрипт "producer.py" из экземпляра GCP:
- Теперь загрузите пример кода на экземпляр AWS и выполните скрипт "producer.py", чтобы проверить гибридное подключение к Confluent Cloud из GCP.
3. Поздравляем!
Поздравляем, вы успешно создали свою многооблачную кросс-региональную платформу потоковой передачи данных Confluent Kafka на базе AWS и GCP.
Полезные кодовые лаборатории?
Посмотрите некоторые из этих практических занятий по программированию...